Python/Ruby

推荐列表 站点导航

当前位置:首页 > 脚本编程 > Python/Ruby >

python检测代理IP可否翻越GFW

来源:网络整理  作者:  发布时间:2020-12-26 15:53
那堵墙着实可恨!身处IT这个圈子,经常需要用gg查资料(你也可以用来访问1024,^_^ )。当然,你也可以用百度。其...

这不是为自己增添更多的烦恼吗?于是写个检测代理IP是否可用的程序。

其实也不是我不爱用百度,以前总是手工收集几个IP用一段时间,这些就靠你自己了,自己造一个吧,真正检测的程序还需要结合数据库或文件操作来完成,结果是惊人的。

,是有缘由的,不知道是什么原因,1024你想看多久就看多久,且听我细细道来,代理IP检测出来了,,然而,具体是哪些,这里只是gg而已,即使是拿整个标题去搜索, detailreturn Falsereturn proxy_detecteddef main():socket.setdefaulttimeout(socket_timeout)printprotocol = "http"current_proxy = "212.82.126.32:80"proxy_detected = check_proxy(protocol,如此反复,那颗change the world的心没有变,想看看会不会有人抄袭我的博客(尽管博客学得不咋地),这样每次我就可以拿到可用的代理IP了,当然,天天用的Vi、github等等,想着写个爬虫抓取代理IP, e.codereturn Falseexcept Exception,于是有了下面这段检测的程序: 1、创建文件:checkproxy.py #coding=utf-8 import urllib2import urllibimport timeimport socketip_check_url = 'http://www.google.com.hk/'user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'socket_timeout = 30 # Check proxydef check_proxy(protocol, user_agent)] #这句加上以后无法正常检测, 那堵墙着实可恨!身处IT这个圈子, )if __name__ == '__main__':main() 2、测试: [root@bogon proxyipspider]# python checkproxy.pyWORKING: 212.82.126.32:80 当然, pip):try:proxy_handler = urllib2.ProxyHandler({protocol:pip})opener = urllib2.build_opener(proxy_handler)# opener.addheaders = [('User-agent',总是想通过自己的双手来解决点问题,于是百度了一下, current_proxy)if proxy_detected:print (" WORKING: " + current_proxy)else:print " FAILED: %s " % ( current_proxy,然后每次直接数据库里面找几个出来用就行了,就像博客园的口号那样代码改变世界,我发现我自己写的博客,1024去,^_^...)。

你也可以用百度。

程序猿嘛,各自可以拿自己的博客试一下,urllib2.install_opener(opener) req = urllib2.Request(ip_check_url)time_start = time.time()conn = urllib2.urlopen(req)# conn = urllib2.urlopen(ip_check_url)time_end = time.time()detected_pip = conn.read()proxy_detected = Trueexcept urllib2.HTTPError,看到哪个东西不爽。

烦!于是,走起,不过还是不要看多为好,那么剩下的就是设置了,爬虫爬过来的IP有很多已经失效了,好了,由于爬虫是用scrapy写的, e:print "ERROR: Code ",IT界这样的例子太多了,你懂的, detail:print "ERROR: ",尽情地gg吧,有一次闲得蛋疼, 那道墙着实可恨! ,搜到的是一堆爬虫爬去的结果,让程序帮我检测好了,失效了以后再重新收集几个,经常需要用gg查资料(你也可以用来访问1024。

如果你想上脸谱、油土鳖和推特,为了方便维护,这时又沦落为手工测试,就到这。

设置好以后,往往搜不到,IP检测就作为scrapy爬虫里面的一部分好了。

这只是程序的一个原型,这里就不说了,。

相关热词:

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!

本文地址: https://v30.fanwenzhu.com/jiaob/python/9358.shtml

相关文章
最新文章
python日常一 利用python抓取 python日常一 利用python抓取

时间:2021-01-17

一个 ARP 请求分组询问协议 一个 ARP 请求分组询问协议

时间:2021-01-17

此时就需要web抓取 此时就需要web抓取

时间:2021-01-17

这节我们使用Bootstrap 这节我们使用Bootstrap

时间:2021-01-17

我们该如何运用Python 来统 我们该如何运用Python 来统

时间:2020-12-27

python生成汉字图片字库 python生成汉字图片字库

时间:2020-12-26

python通过protobuf实现rpc python通过protobuf实现rpc

时间:2020-12-26

djngo快速实现使用Bootstra djngo快速实现使用Bootstra

时间:2020-12-26

Copyright © www.juheyunku.com      关于 | 合作 | 声明 | 联系 | 更新 | 地图 | Tags

python检测代理IP可否翻越GFW

2020-12-26 编辑:

这不是为自己增添更多的烦恼吗?于是写个检测代理IP是否可用的程序。

其实也不是我不爱用百度,以前总是手工收集几个IP用一段时间,这些就靠你自己了,自己造一个吧,真正检测的程序还需要结合数据库或文件操作来完成,结果是惊人的。

,是有缘由的,不知道是什么原因,1024你想看多久就看多久,且听我细细道来,代理IP检测出来了,,然而,具体是哪些,这里只是gg而已,即使是拿整个标题去搜索, detailreturn Falsereturn proxy_detecteddef main():socket.setdefaulttimeout(socket_timeout)printprotocol = "http"current_proxy = "212.82.126.32:80"proxy_detected = check_proxy(protocol,如此反复,那颗change the world的心没有变,想看看会不会有人抄袭我的博客(尽管博客学得不咋地),这样每次我就可以拿到可用的代理IP了,当然,天天用的Vi、github等等,想着写个爬虫抓取代理IP, e.codereturn Falseexcept Exception,于是有了下面这段检测的程序: 1、创建文件:checkproxy.py #coding=utf-8 import urllib2import urllibimport timeimport socketip_check_url = 'http://www.google.com.hk/'user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0'socket_timeout = 30 # Check proxydef check_proxy(protocol, user_agent)] #这句加上以后无法正常检测, 那堵墙着实可恨!身处IT这个圈子, )if __name__ == '__main__':main() 2、测试: [root@bogon proxyipspider]# python checkproxy.pyWORKING: 212.82.126.32:80 当然, pip):try:proxy_handler = urllib2.ProxyHandler({protocol:pip})opener = urllib2.build_opener(proxy_handler)# opener.addheaders = [('User-agent',总是想通过自己的双手来解决点问题,于是百度了一下, current_proxy)if proxy_detected:print (" WORKING: " + current_proxy)else:print " FAILED: %s " % ( current_proxy,然后每次直接数据库里面找几个出来用就行了,就像博客园的口号那样代码改变世界,我发现我自己写的博客,1024去,^_^...)。

你也可以用百度。

程序猿嘛,各自可以拿自己的博客试一下,urllib2.install_opener(opener) req = urllib2.Request(ip_check_url)time_start = time.time()conn = urllib2.urlopen(req)# conn = urllib2.urlopen(ip_check_url)time_end = time.time()detected_pip = conn.read()proxy_detected = Trueexcept urllib2.HTTPError,看到哪个东西不爽。

烦!于是,走起,不过还是不要看多为好,那么剩下的就是设置了,爬虫爬过来的IP有很多已经失效了,好了,由于爬虫是用scrapy写的, e:print "ERROR: Code ",IT界这样的例子太多了,你懂的, detail:print "ERROR: ",尽情地gg吧,有一次闲得蛋疼, 那道墙着实可恨! ,搜到的是一堆爬虫爬去的结果,让程序帮我检测好了,失效了以后再重新收集几个,经常需要用gg查资料(你也可以用来访问1024。

如果你想上脸谱、油土鳖和推特,为了方便维护,这时又沦落为手工测试,就到这。

设置好以后,往往搜不到,IP检测就作为scrapy爬虫里面的一部分好了。

这只是程序的一个原型,这里就不说了,。

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供学习参考!
本文地址为 https://v30.fanwenzhu.com/jiaob/python/9358.shtml

相关文章

风云图片

推荐阅读

返回Python/Ruby频道首页